Data Engineering

6 개의 글

사실상 코드는 책에서 제공 해 주는 코드를 실행하기 때문에, 주의 해 주어야 할 것은 Maven 설정을 잘 해주는 것과 Java 환경설정, 그리고 JAR 파일을 잘 말아주는 것 밖에는 할 것이 없었다.

2022-03-25stream

Docker를 사용한 Apache Flink와 Flink Job 올리기(1) - Docker Setting

<Stream Processing with Apache Flink: Fundamentals, Implementation, and Operation of Streaming Applications> 를 참고했으며 직접 개발환경을 세팅 해 보고 작성했다. Docker를 기반으로 작업을 하려고 한다. Docker를 다룰 줄 알거나 설치가 되어 있다는 가정 하에 작업을 해 보려고 한다

2022-02-01database

몽고디비 클러스터 구성하기

호스트 및 MongoDB 인스턴스에 대한 예기치 못한 문제로 인하여 프로세스가 down되는 등 장애 상황이 발생하거나 데이터 유실이 발생 한다. 이를 대비하기 위해 여러 다른 종류의 DBMS와 비슷하게 MongoDB 또한 복제 구성을 통한 DB HA(High Availability) 사용 해야 한다.

2022-01-22stream

AWS Kinesis python으로 다뤄보기

Python에서 Kinesis Datastream에 연동하여 데이터를 주고/받는 과정을 정리 해 보자

2021-12-21kafka

Kafka로 메시지와 이벤트 처리하기 - (1) Kafka 세팅하기

Apache Kafka는 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼이다. Docker를 사용해서 Kafka 환경을 구축하고 기본적인 메시지 송수신을 테스트해본다.